ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow
ShadowDancer：从视频与影子学习统一动力学表征实现任意动作控制
🧭 视频世界模型 · 动作表征学习
Alaya Lab · Shanghai Innovation Institute
通过影子对与跨影子预测解耦外观与动作，使视频世界模型零样本复用任意演示动作。
📌 工作参考价值（4 点）
- 解耦外观与行为的数据增强思路：在电商/推荐中，用户行为序列（动作）常与内容表象（外观）纠缠。可借鉴“影子对”构造：对同一意图（如搜索同一品类）在不同 UI 皮肤或不同设备下的交互对，训练模型剥离表面特征，得到更纯的意图表征，提升跨场景迁移能力。
- 通过预测任务学习不变表征：cross-shadow prediction 直接以预测配对样本为目标，隐式舍弃无关变化。推荐系统可构造类似预训练任务：给定同一用户在不同上下文下的行为序列片段，预测彼此，使模型聚焦于提取不变的用户潜在兴趣，减少 noises 影响。
- 无需标注的动作复用：该方法将已有视频片段直接转化为可复用的控制信号，无需额外动作标签。对应到 Agent 或营销内容生成，可利用历史用户交互轨迹作为模板，直接在新内容上“重放”类似动线，快速生成个性化交互流程。
- 长序列一致性控制：block-causal 架构与统一动力学表征保证长期回放稳定。在生成式推荐（如生成购物路径）中，可借鉴该结构维持多步生成的逻辑连贯性，避免中间步骤崩塌。